Cao Quýnh xuất thân trong một gia đình quan lại nhỏ dưới thời Bắc Ngụy. Từ năm 529, Bắc Ngụy liên tiếp xảy ra nội chiến, cuối cùng phân liệt thành Đông Ngụy và Tây Ngụy, do hai đại thần thượng trụ là Cao Hoan và Vũ Văn Thái nắm quyền. Sang khoảng gần 20 sau, họ Cao và họ Vũ Văn cướp ngôi vua ở cả hai nước Ngụy, lập ra Bắc Tề và Bắc Chu. Cao Tân vốn sống ở miền đông, nhưng bỏ trốn theo Chu; được đại tướng nhà Chu là Hà Nội công Độc Cô Tín cho làm liêu tá, ban cho họ Độc Cô.

Năm 556, Độc Cô Tín bị triều đình Bắc Chu kết tội và xử tử, Cao Tân vẫn còn làm quân trong triều. Con gái của Độc Cô Tín là Độc Cô Già La lấy con trai đại thần Dương Trung là Dương Kiên, thấy Tân là thủ hạ cũ của cha mình, nên thường đến hỏi thăm và đề bạt với Dương Kiên. Do đó Cao Tân được phong đến chức Thứ sử Nhược châu.

Cao Quýnh từ nhỏ đã thông minh mẫn tiệp, có chí lớn, ham học kinh thư và sách sử. Trước nhà ông có một cây liễu cao hơn trăm xích, có phụ lão thấy vậy, bảo

Năm Cao Quýnh 17 tuổi (558), được Tề vương Vũ Văn Hiến, con trai Vũ Văn Thái cho làm thư ký bên cạnh. Khi Bắc Chu Vũ Đế lên ngôi, phong cho ông làm Vũ Dương bá. Sang năm 579, ông tham gia vào chiến dịch tiêu diệt Bắc Tề, thông nhất miền bắc, nên được bái làm Khai phủ. Sau đó Cao Quýnh lại tham gia bình định quân phản loạn ở Thấp Châu.

Năm 578, Vũ Đế chết, Tuyên Đế lên ngôi. Năm 580, Tuyên Đế chết, quyền hành trong triều rơi vào tay ngoại thích Dương Kiên. Dương Kiên nghe Cao Quýnh là người giỏi, muốn phủ dụ theo giúp mình, sai Hàn quốc công Dương Huệ đến thuyết phục. Ông bằng lòng theo giúp Dương Kiên, được phong làm Tướng phủ tư lục (Dương Kiên lúc đó là Thừa tướng).

Cùng năm Uất Trì Huýnh biết Dương Kiên muốn cướp ngôi, bèn khởi binh tạo phản để chống lại. Huỳnh sai con là Uất Trì Đôn dẫn 8 vạn kị binh tiến vào Vũ Trắc. Dương Kiên sai Vi Hiếu Khoan ra chống, nhưng quân chỉ mới tới Hà Dương thì đã sợ hãi. Dương Kiên thấy nội bộ bất ổn, bèn sai Thôi Trọng Phương đến giám sát. Cao Quýnh cũng xin Dương Kiên cho mình ra trận đốc thúc. Sau khi tới quân doanh, ông cùng tướng sĩ đại thắng quân của Uất Trì Huýnh ở Phần Kiều, sau đó tiến vào Nghiệp Thành[2] và tiêu diệt được Huýnh.

Sau khi Cao Quýnh về kinh, Dương Kiên bày tiệc ở trong cung thiết đãi và ban thưởng cho ông, sau đó thăng làm Trụ quốc, Tướng phủ tư mã, tước Nghĩa Ninh huyện công, và ban cho ngựa Ký Ích long.